Scrapbox ChatGPT Connectorで遊ぶ（motoso）
Scrapbox ChatGPT Connectorで遊ぶ（motoso）
基素.icon
試してみる
mac
$ python3 -m venv env
Python 3.10.6 (main, Aug 30 2022, 04:58:14) [Clang 13.1.6 (clang-1316.0.21.2.5)] on darwin
gpt-3.5-turbo $0.002 / 1K tokens
Ada $0.0004 / 1K tokens
Embeddingはこっちかな？
Yesnishio.icon
課金してみよう
と思ったけど、18ドル分のfree trialがあるみたい
rate limitが60とPay-as-you-go扱いになっているのはこのせいかな？
トークンを発行してから48時間たたないと3500RPMにならないのかも
同じところでトラブってる。60から変わってくれぬsta.icon
rate limitに達する問題
catchをsleep(2)にしてみた
再開すると進行が途中からになるのか〜
それでも一旦rate limitに達するとcurrent 70/min -> 80/min -> 90/minと10ずつ増えてダメだった
tryの中にsleep(1)を追加してリクエストごとに1秒待つことにした
1秒待ってるんだから、maxでも60/minしか出ない
実際にはネットワークの往復と処理の時間がかかっているのだから60rpsより余裕で少ないはず
なるほど。このコードで初めてAPIを使う人の方が多そうだから、しっかり待つ方をデフォルトの挙動にしておこう✅nishio.icon
自分がRate limitの対象じゃないとわかってる人はコメントアウトすれば良い
放置して様子を見てみると少しつづ進んでいる
The server is currently overloaded with other requests. Sorry about that! You can retry your request, or contact us through our help center at help.openai.com if the error persists.
度々これが出ているけどこれは自分のせいじゃないはず
特にエラーが起きない。もうちょっと早くしよう。
と思ったらrate limitがでた。うーん。
19:28 34%
19:42 67%
20:01 気づいたら終わってた
待ち時間で違うことをやる
こっちはchatGPTのtokenizerだから別？
22:45 自分のScrapboxでもmake_index.pyを回し始めた
23:15 273/18806。先は長い。これだと37時間かかるw
対話的にやり取りできるようにしてみたい
アシスタントの返事とこちらの次の発言をmessagesに積めばいいんだけど少し注意点があるnishio.icon
https://gyazo.com/543abd66eaeac7c63fe69aa5e0db6fe5
最初の返事の賢さを最大限に高めたくて4096トークンの限界一般まで参考資料を詰め込んでいる
だからこれに単純にアシスタントの返事と次の自分の発言を付け加えると限界を溢れる(1)
素朴な対処法としては会話だけを積み直す方法(2)
これでチャットをするという目的は達成できるけど、この場合2回目の返事をするAIはScrapboxを読まないのでイマイチ
https://gyazo.com/45a1ee6486a5d21f1ed7b108a004cc78
なので空きスペースいっぱいにScrapboxの情報を詰め込むのが良いかなと思う
https://gyazo.com/ab59ccc0c3766ed1101c1982c2460494
ありがとうございます！基素.icon
試す時に読み返します
何ができると便利かな？
自分に相談する
48時間ぐらい経ったから再開と思ったらrate limit！
2023/3/11 19:24 設定した
数時間後に回してみたら多分レートリミットとれてた。なにもわからない。
学習が終わったから遊んでみよう
ANSWER:
>>> もっとも大事な問いとは何だろう？
何をやりたいかを発見することが最も大事な問いである。
これは大事基素.icon